针对多输入多输出的广义频分复用（MIMO-GFDM）系统的等效信道矩阵维度极大，传统的MIMO检测算法复杂度高且性能不佳的问题，将大规模MIMO系统中的动态禁忌搜索（RTS）检测算法运用到MIMO-GFDM系统中，并解决了RTS算法初始值的求解复杂度高的问题。首先利用最小均方误差（MMSE）检测算法所用到矩阵的正定对称性将矩阵Cholesky分解，并结合Sherman-Morrison公式迭代计算初始值，降低了初始值求逆的高复杂度；然后以改进的MMSE检测结果作为RTS算法的初始值，从初始值逐步全局搜索最优解；最后通过仿真，对不同算法的迭代次数和误码率（BER）性能进行了研究。理论分析与仿真结果表明：在MIMO-GFDM中，所提改进RTS信号检测算法误码率远低于传统信号检测算法。在4QAM时，RTS算法大约有低于MMSE检测6 dB的信噪比性能增益（误码率在10 ^-3时）；在16QAM时，RTS算法大约有低于MMSE检测4 dB的信噪比性能增益（误码率在10 ^-2时）。与传统RTS算法性相比，所提改进算法在不影响误码率性能的同时降低了算法复杂度。

空间调制（SM）系统中性能最优的最大似然（ML）检测算法复杂度很高，用基于信道矩阵QR分解的M算法（QRD-M）可以降低复杂度，但传统QRD-M算法检测时，每层都保留固定的 M个节点，仍会造成额外的计算量。针对传统QRD-M算法中存在的问题，提出一种低复杂度的动态 M值QRD-M检测算法——LC-QRD-dM。LC-QRD-dM算法利用设计的阈值与累积分支度量值进行比较，每层自适应地选择不超过 M的保留节点数，相对于传统QRD-M算法以牺牲少量性能为代价大大降低了复杂度。接着又针对该改进算法在信道衰落较深时会产生较大误码率的问题，进一步提出一种基于信道状态的动态 M值QRD-M检测算法——CS-QRD-dM。CS-QRD-dM利用LC-QRD-dM的原理，在低信噪比（SNR）时，每层根据阈值选择不小于 M的保留节点数；在高信噪比时，每层则选择不超过 M的保留节点数。理论分析和仿真结果表明：相比传统QRD-M，CS-QRD-dM在低信噪比时有约1.3 dB的信噪比增益（误码率为10 ^-2），以增加少量复杂度为代价，显著地改善了检测性能；在高信噪比时，其检测性能及复杂度与LC-QRD-dM相同。